機器學習的數學基礎 高等數學 線性代數 行列式 矩陣 向量 線性方程組 矩陣的特徵值和特徵向量 二次型 機率論和數理統計 隨機事件和機率 隨機變數及其機率分布 多維隨機變數及其分布 隨機變數的數字特徵 數理統計的基本概念
1.導數定義:
導數和微分的概念
(1)
或者:
(2)
2.左右導數導數的幾何意義和物理意義
函數 在 處的左、右導數分別定義為:
左導數:
右導數:
3.函數的可導性與連續性之間的關係
Th1: 函數 在 處可微 在 處可導
Th2: 若函數在點 處可導,則 在點 處連續,反之則不成立。即函數連續不一定可導。
Th3: 存在
4.平面曲線的切線和法線
切線方程 : 法線方程:
5.四則運算法則 設函數 ]在點 可導則 (1) (2) (3)
6.基本導數與微分表 (1) (常數) (2) ( 為實數) (3) 特例:
(4)
特例:
(5)
(6)
(7)
(8) (9)
(10)
(11)
(12)
(13)
(14)
(15)
(16)
7.複合函數,反函數,隱函數以及參數方程所確定的函數的微分法
(1) 反函數的運算法則: 設 在點 的某鄰域內單調連續,在點 處可導且 ,則其反函數在點 所對應的 處可導,並且有 (2) 複合函數的運算法則:若 在點 可導,而 在對應點 ( )可導,則複合函數 在點 可導,且 (3) 隱函數導數 的求法一般有三種方法: 1)方程兩邊對 求導,要記住 是 的函數,則 的函數是 的複合函數.例如 , , , 等均是 的複合函數. 對 求導應按複合函數連鎖法則做. 2)公式法.由 知 ,其中, , 分別表示 對 和 的偏導數 3)利用微分形式不變性
8.常用高階導數公式
(1) (2) (3) (4) (5) (6)萊布尼茲公式:若 均 階可導,則 ,其中 ,
9.微分中值定理,泰勒公式
Th1:(費馬定理)
若函數 滿足條件: (1)函數 在 的某鄰域內有定義,並且在此鄰域內恆有 或 ,
(2) 在 處可導,則有
Th2:(羅爾定理)
設函數 滿足條件: (1)在閉區間 上連續;
(2)在 內可導;
(3) ;
則在 內一存在個 ,使 Th3: (拉格朗日中值定理)
設函數 滿足條件: (1)在 上連續;
(2)在 內可導;
則在 內一存在個 ,使
Th4: (柯西中值定理)
設函數 , 滿足條件: (1) 在 上連續;
(2) 在 內可導且 , 均存在,且
則在 內存在一個 ,使
10.洛必達法則 法則Ⅰ ( 型) 設函數 滿足條件: ;
在 的鄰域內可導,(在 處可除外)且 ;
存在(或 )。
則: 。 法則 ( 型)設函數 滿足條件: ;
存在一個 ,當 時, 可導,且 ; 存在(或 )。
則: 法則Ⅱ( 型) 設函數 滿足條件: ; 在 的鄰域內可導(在 處可除外)且 ; 存在(或 )。則 同理法則 ( 型)仿法則 可寫出。
11.泰勒公式
設函數 在點 處的某鄰域內具有 階導數,則對該鄰域內異於 的任意點 ,在 與 之間至少存在 一個 ,使得: 其中 稱為 在點 處的 階泰勒餘項。
令 ,則 階泰勒公式 ……(1) 其中 , 在0與 之間.(1)式稱為麥克勞林公式
常用五種函數在 處的泰勒公式
(1)
或
(2)
或
(3)
或
(4)
或
(5)
或
12.函數單調性的判斷 Th1: 設函數 在 區間內可導,如果對 ,都有 (或 ),則函數 在 內是單調增加的(或單調減少)
Th2: (取極值的必要條件)設函數 在 處可導,且在 處取極值,則 。
Th3: (取極值的第一充分條件)設函數 在 的某一鄰域內可微,且 (或 在 處連續,但 不存在。) (1)若當 經過 時, 由“+”變“-”,則 為極大值; (2)若當 經過 時, 由“-”變“+”,則 為極小值; (3)若 經過 的兩側不變號,則 不是極值。
Th4: (取極值的第二充分條件)設 在點 處有 ,且 ,則 當 時, 為極大值; 當 時, 為極小值。 註:如果 ,此方法失效。
13.漸近線的求法 (1)水平漸近線 若 ,或 ,則
稱為函數 的水準漸近線。
(2)鉛直漸近線 若 ,或 ,則
稱為 的鉛直漸近線。
(3)斜漸近線 若 ,則 稱為 的斜漸近線。
14.函數凹凸性的判斷 Th1: (凹凸性的判別定理)若在I上 (或 ),則 在I上是凸的(或凹的)。
Th2: (拐點的判別定理1)若在 處 ,(或 不存在),當 變動經過 時, 變號,則 為拐點。
Th3: (拐點的判別定理2)設 在 點的某鄰域內有三階導數,且 , ,則 為拐點。
15.弧微分
16.曲率
曲線 在點 處的曲率 。 對於參數方程 。
17.曲率半徑
曲線在點 處的曲率 與曲線在點 處的曲率半徑 有如下關係: 。
1.行列式按行(列)展開定理
(1) 設 ,則:
或 即 其中:
(2) 設 為 階方陣,則 ,但 不一定成立。
(3) , 為 階方陣。
(4) 設 為 階方陣, (若 可逆),
(5) , 為方陣,但 。
(6) 范德蒙行列式
設 是 階方陣, 是 的 個特徵值,則
矩陣: 個數 排成 行 列的表格 稱為矩陣,簡記為 ,或者 。若 ,則稱 是 階矩陣或 階方陣。
矩陣的線性運算
1.矩陣的加法
設 是兩個 矩陣,則 矩陣 稱為矩陣 與 的和,記為 。
2.矩陣的數乘
設 是 矩陣, 是一個常數,則 矩陣 稱為數 與矩陣 的數乘,記為 。
3.矩陣的乘法
設 是 矩陣, 是 矩陣,那麼 矩陣 ,其中 稱為 的乘積,記為 。
4. 、 、 三者之間的關係
(1)
(2)
但 不一定成立。
(3) ,
但 不一定成立。
(4)
5.有關 的結論
(1)
(2)
(3) 若 可逆,則
(4) 若 為 階方陣,則:
6.有關 的結論
可逆
可以表示為初等矩陣的乘積; 。
7.有關矩陣秩的結論
(1) 秩 =行秩=列秩;
(2)
(3) ;
(4)
(5) 初等變換不改變矩陣的秩
(6) 特別若 則:
(7) 若 存在 若 存在
若 若 。
(8) 只有零解
8.分塊求逆公式
; ;
;
這裡 , 均為可逆方陣。
1.有關向量組的線性表示
(1) 線性相關 至少有一個向量可以用其餘向量線性表示。
(2) 線性無關, , 線性相關 可以由 唯一線性表示。
(3) 可以由 線性表示 。
2.有關向量組的線性相關性
(1)部分相關,整體相關;整體無關,部分無關.
(2) ① 個 維向量 線性無關 , 個 維向量 線性相關 。
② 個 維向量線性相關。
③ 若 線性無關,則添加分量後仍線性無關;或一組向量線性相關,去掉某些分量後仍線性相關。
3.有關向量組的線性表示
(1) 線性相關 至少有一個向量可以用其餘向量線性表示。
(2) 線性無關, , 線性相關 可以由 唯一線性表示。
(3) 可以由 線性表示
4.向量組的秩與矩陣的秩之間的關係
設 ,則 的秩 與 的行列向量組的線性相關性關係為:
(1) 若 ,則 的行向量組線性無關。
(2) 若 ,則 的行向量組線性相關。
(3) 若 ,則 的列向量組線性無關。
(4) 若 ,則 的列向量組線性相關。
5. 維向量空間的基變換公式及過渡矩陣
若 與 是向量空間 的兩組基,則基變換公式為:
其中 是可逆矩陣,稱為由基 到基 的過渡矩陣。
6.坐標變換公式
若向量 在基 與基 的坐標分別是 ,
即: ,則向量坐標變換公式為 或 ,其中 是從基 到基 的過渡矩陣。
7.向量的內積
8.Schmidt正交化
若 線性無關,則可構造 使其兩兩正交,且 僅是 的線性組合 ,再把 單位化,記 ,則 是規範正交向量組。其中 , , ,
............
9.正交基及規範正交基
向量空間一組基中的向量如果兩兩正交,就稱為正交基;若正交基中每個向量都是單位向量,就稱其為規範正交基。
1.克萊姆法則
線性方程組 ,如果係數行列式 ,則方程組有唯一解, ,其中 是把 中第 列元素換成方程組右端的常數列所得的行列式。
2. 階矩陣 可逆 只有零解。 總有唯一解,一般地, 只有零解。
3.非奇次線性方程組有解的充分必要條件,線性方程組解的性質和解的結構
(1) 設 為 矩陣,若 ,則對 而言必有 ,從而 有解。
(2) 設 為 的解,則 當 時仍為 的解;但當 時,則為 的解。特別 為 的解; 為 的解。
(3) 非齊次線性方程組 無解 不能由 的列向量 線性表示。
4.奇次線性方程組的基礎解系和通解,解空間,非奇次線性方程組的通解
(1) 齊次方程組 恆有解(必有零解)。當有非零解時,由於解向量的任意線性組合仍是該齊次方程組的解向量,因此 的全體解向量構成一個向量空間,稱為該方程組的解空間,解空間的維數是 ,解空間的一組基稱為齊次方程組的基礎解系。
(2) 是 的基礎解系,即:
1) 是 的解;
2) 線性無關;
3) 的任一解都可以由 線性表出. 是 的通解,其中 是任意常數。
1.矩陣的特徵值和特徵向量的概念及性質
(1) 設 是 的一個特徵值,則 有一個特徵值分別為 且對應特徵向量相同( 例外)。
(2)若 為 的 個特徵值,則 ,從而 沒有特徵值。
(3)設 為 的 個特徵值,對應特徵向量為 ,
若: ,
則: 。
2.相似變換、相似矩陣的概念及性質
(1) 若 ,則
1)
2)
3) ,對 成立
3.矩陣可相似對角化的充分必要條件
(1)設 為 階方陣,則 可對角化 對每個 重根特徵值 ,有
(2) 設 可對角化,則由 有 ,從而
(3) 重要結論
1) 若 ,則 .
2) 若 ,則 ,其中 為關於 階方陣 的多項式。
3) 若 為可對角化矩陣,則其非零特徵值的個數(重根重複計算)=秩( )
4.實對稱矩陣的特徵值、特徵向量及相似對角陣
(1)相似矩陣:設 為兩個 階方陣,如果存在一個可逆矩陣 ,使得 成立,則稱矩陣 與 相似,記為 。
(2)相似矩陣的性質:如果 則有:
1)
2) (若 , 均可逆)
3) ( 為正整數)
4) ,從而 有相同的特徵值
5) ,從而 同時可逆或者不可逆
6) 秩 秩 , 不一定相似
1. 個變數 的二次齊次函數
,其中 ,稱為 元二次型,簡稱二次型. 若令 ,這二次型 可改寫成矩陣向量形式 。其中 稱為二次型矩陣,因為 ,所以二次型矩陣均為對稱矩陣,且二次型與對稱矩陣一一對應,並把矩陣 的秩稱為二次型的秩。
2.慣性定理,二次型的標準形和規範形
(1) 慣性定理
對於任一二次型,不論選取怎樣的契約變換使它化為僅含平方項的標準型,其正負慣性指數與所選變換無關,這就是所謂的慣性定理。
(2) 標準形
二次型 經過契約變換 化為
稱為 的標準形。在一般的數域內,二次型的標準形不是唯一的,與所作的契約變換有關,但係數不為零的平方項的個數由 唯一確定。
(3) 規範形
任一實二次型 都可經過契約變換化為規範形 ,其中 為 的秩, 為正慣性指數, 為負慣性指數,且規範型唯一。
3.用正交變換和配方法化二次型為標準形,二次型及其矩陣的正定性
設 正定 正定; , 可逆; ,且
, 正定 正定,但 , 不一定正定
正定
的各階順序主子式全大於零
的所有特徵值大於零
的正慣性指數為
存在可逆陣 使
存在正交矩陣 ,使
其中 正定 正定; 可逆; ,且 。
1.事件的關係與運算
(1) 子事件: ,若 發生,則 發生。
(2) 相等事件: ,即 ,且 。
(3) 和事件: (或 ), 與 中至少有一個發生。
(4) 差事件: , 發生但 不發生。
(5) 積事件: (或 ), 與 同時發生。
(6) 互斥事件(互不相容): = 。
(7) 互逆事件(對立事件): 2.運算律 (1) 交換律: (2) 結合律: (3) 分配律: 3.德 摩根律
4.完全事件組
兩兩互斥,且和事件為必然事件,即
5.機率的基本公式 (1)條件機率: ,表示 發生的條件下, 發生的機率。 (2)全機率公式: (3) Bayes公式:
註:上述公式中事件 的個數可為可列個。 (4)乘法公式:
6.事件的獨立性 (1) 與 相互獨立 (2) , , 兩兩獨立 ; ; ; (3) , , 相互獨立 ; ; ;
7.獨立重複試驗
將某試驗獨立重複 次,若每次實驗中事件A發生的機率為 ,則 次試驗中 發生 次的機率為: 8.重要公式與結論 (5)條件機率 滿足機率的所有性質, 例如:. (6)若 相互獨立,則 (7)互斥、互逆與獨立性之間的關係: 與 互逆 與 互斥,但反之不成立, 與 互斥(或互逆)且均非零機率事件 與 不獨立. (8)若 相互獨立,則 與 也相互獨立,其中 分別表示對相應事件做任意事件運算後所得的事件,另外,機率為1(或0)的事件與任何事件相互獨立.
1.隨機變數及機率分布
取值帶有隨機性的變數,嚴格地說是定義在樣本空間上,取值於實數的函數稱為隨機變數,機率分布通常指分布函數或分布律
2.分布函數的概念與性質
定義:
性質:(1)
(2) 單調不減
(3) 右連續
(4)
3.離散型隨機變數的機率分布
4.連續型隨機變數的機率密度
機率密度 ;非負可積,且:
(1)
(2)
(3) 為 的連續點,則:
分布函數
5.常見分布
(1) 0-1分布:
(2) 二項分布: :
(3) Poisson分布: :
(4) 均勻分布 :
(5) 正態分布:
(6)指數分布:
(7)幾何分布:
(8)超幾何分布:
6.隨機變數函數的機率分布
(1)離散型:
則:
(2)連續型:
則: ,
7.重要公式與結論
(1)
(2)
(3)
(4)
(5) 離散型隨機變數的分布函數為階梯間斷函數;連續型隨機變數的分布函數為連續函數,但不一定為處處可導函數。
(6) 存在既非離散也非連續型隨機變數。
1.二維隨機變數及其聯合分布
由兩個隨機變數構成的隨機向量 , 聯合分布為
2.二維離散型隨機變數的分布
(1) 聯合機率分布律
(2) 邊緣分布律
(3) 條件分布律
3. 二維連續性隨機變數的密度
(1) 聯合機率密度
1)
2)
(2) 分布函數:
(3) 邊緣機率密度:
(4) 條件機率密度:
4.常見二維隨機變數的聯合分布
(1) 二維均勻分布: ,
(2) 二維正態分布: ,
5.隨機變數的獨立性和相關性
和 的相互獨立: :
(離散型) (連續型)
和 的相關性:
相關係數 時,稱 和 不相關, 否則稱 和 相關
6.兩個隨機變數簡單函數的機率分布
離散型: 則:
連續型: 則:
,
7.重要公式與結論
(1) 邊緣密度公式:
(2)
(3) 若 服從二維正態分布 則有:
1)
2) 與 相互獨立 ,即 與 不相關。
3)
4) 關於 的條件分布為:
5) 關於 的條件分布為:
(4) 若 與 獨立,且分別服從 則:
(5) 若 與 相互獨立, 和 為連續函數, 則 和 也相互獨立。
1.數學期望
離散型: ;
連續型:
性質:
(1)
(2)
(3) 若 和 獨立,則
(4)
2.方差:
3.標準差: ,
4.離散型:
5.連續型:
性質:
(1)
(2) 與 相互獨立,則
(3)
(4) 一般有
(5)
(6)
6.隨機變數函數的數學期望
(1) 對於函數
為離散型: ;
為連續型:
(2) ; ; ;
7.協方差
8.相關係數
, 階原點矩 ; 階中心矩
性質:
(1)
(2)
(3)
(4)
(5) ,其中
,其中
9.重要公式與結論
(1)
(2)
(3) 且 ,其中
,其中
(4) 下面5個條件互為充要條件:
註: 與 獨立為上述5個條件中任何一個成立的充分條件,但非必要條件。
1.基本概念
總體:研究對象的全體,它是一個隨機變數,用 表示。
個體:組成總體的每個基本元素。
簡單隨機樣本:來自總體 的 個相互獨立且與總體同分布的隨機變數 ,稱為容量為 的簡單隨機樣本,簡稱樣本。
統計量:設 是來自總體 的一個樣本, )是樣本的連續函數,且 中不含任何未知參數,則稱 為統計量。
樣本均值:
樣本方差:
樣本矩:樣本 階原點矩:
樣本 階中心矩:
2.分布
分布: ,其中 相互獨立,且同服從
分布: ,其中 且 , 相互獨立。
分布: ,其中 且 , 相互獨立。
分位數:若 則稱 為 的 分位數
3.正態總體的常用樣本分布
(1) 設 為來自正態總體 的樣本,
則:
1) 或者
2)
3)
4)
4.重要公式與結論
(1) 對於 ,有
(2) 對於 ,有 ;
(3) 對於 ,有
(4) 對於任意總體 ,有